Trước đó, khi nghe tin quân Pháp sắp đánh Biên Hòa và Vĩnh Long, triều đình Huế sai tướng Nguyễn Tri Phương đem hai vệ quân phối hợp với hai ngàn đã phái đi trước, đang đóng ở Khánh Hòa, vào cấp cứu. Nhưng quân chưa đến nơi, thì tướng Nguyễn Bá Nghi đã chạy về Bình Thuận, sau khi để thành Biên Hòa thất thủ (18 tháng 12 năm 1861).

Thừa thắng, vào nửa tháng 3 năm 1862, 11 chiến thuyền của Pháp từ Định Tường kéo sang tấn công hai đồn lũy ở Vĩnh Long là Vĩnh Tùng (do Lãnh binh Tôn Thất Tuấn, Nguyễn Thái, Lê Đình Cửu trấn giữ), Thanh Mỹ (do Lãnh binh Hồ Lực, Ngô Thành, Trương Văn Thành trấn giữ). Bắn phá luôn hai ngày đêm, thì hai đồn trên đều vỡ.

Ngày 20 tháng 3 năm 1862, đoàn chiến thuyền của Pháp đã áp sát thành Vĩnh Long, rồi bắt đầu nổ súng. Quân triều đình chống cự kịch liệt trên các ngọn rạch và chung quanh thành. Trận đánh kéo dài đến tối ngày 22 tháng 3, thì các ổ đại bác của quân Việt đều bị phá. Đêm đó, Tổng đốc Trương Văn Uyển cho lệnh đốt hết kho tàng, dinh thự rồi rút chạy về đồn Thị Bảo, rồi chạy thẳng lên huyện Duy Minh. Cho nên, sáng hôm sau (23 tháng 2), quân Pháp ung dung tiến vào chiếm đoạt thành, mà không gặp bất kỳ sự kháng cự nào nữa. Vào thành, quân Pháp thu được 68 cổ đại bác.

Nghe tin thành Vĩnh Long đã mất, vua Tự Đức trách Trương Văn Uyển là không biết chọn chỗ hiểm yếu mà đặt đồn, làm thành cái thế không thể bị đánh bật, mà chỉ chuyên dựa vào hai nơi là Thanh Mỹ và Vĩnh Tùng. Xét tội, các quan tỉnh thành có trách nhiệm đều bị cách lưu, nhưng vẫn phải lo việc thu tập binh dũng, khí giới, lương thực...để hỗ trợ cho các quan quân và nghĩa dân còn đang hoạt động ở các nơi khác.

Đầu tháng 5 năm 1862, sau khi cùng các đình thần bàn bạc, vua Tự Đức sai quan thông báo cho phía Pháp đề nghị "giảng hòa". Đề cập sự việc này, GS. Trần Văn Giàu viết:

Lúc Vĩnh Long thất thủ (lần đầu), đó chính là lúc nghĩa quân hoạt động rất mạnh ở các nơi. Làm cho quân Pháp lan rộng từ Bà Rịa tới Vĩnh Long, nhưng họ mất rất nhiều căn cứ ở bên trong, bị tập kích khắp nơi khi họ ló ra, tình thế rất là nguy khốn. Thomazi chép: "Người Pháp đã bắt đầu thấy cần phải chinh phục lại những tỉnh đã chinh phục. Nhưng trong lúc không ngờ rằng vua Tự Đức lại xin giảng hòa". Giảng hòa, là gián tiếp giúp Pháp tàn sát nghĩa quân, bội phản quyền lợi của nhân dân, của Tổ quốc.[3]

Lập tức, Đô đốc Bonard sai Simon đáp thuyền máy đến Huế đưa ra ba yêu sách...Cuối cùng, ngày 5 tháng 6 năm 1862, Hòa ước Nhâm Tuất (1862) được ký kết, mà phần thua thiệt thuộc về nhà Nguyễn. Theo hòa ước trên, thực dân Pháp phải sớm trao trả thành Vĩnh Long, nhưng lấy cớ chưa dẹp yên "giặc giã", nên mãi đến ngày 25 tháng 5 năm 1863, họ mới thực hiện.